Mạng nơ ron tích chập là gì? Các công bố khoa học về Mạng nơ ron tích chập

Chúng tôi đã huấn luyện một mạng nơ-ron tích chập sâu lớn để phân loại 1,2 triệu hình ảnh độ phân giải cao trong cuộc thi ImageNet LSVRC-2010 thành 1000 lớp khác nhau. Trên dữ liệu kiểm tra, chúng tôi đạt được tỷ lệ lỗi top-1 và top-5 lần lượt là 37,5% và 17,0%, điều này tốt hơn nhiều so với công nghệ tiên tiến trước đó. Mạng nơ-ron có 60 triệu tham số và 650.000 nơ-ron, bao gồm năm lớp tích chập, một số lớp có kèm theo lớp max-pooling, và ba lớp liên kết hoàn toàn với softmax 1000 chiều cuối cùng. Để tăng tốc quá trình huấn luyện, chúng tôi đã sử dụng nơ-ron không bão hòa và một triển khai GPU rất hiệu quả của phép toán tích chập. Để giảm thiểu hiện tượng quá khớp trong các lớp liên kết hoàn toàn, chúng tôi đã áp dụng một phương pháp điều hòa được phát triển gần đây gọi là "dropout" và đã chứng tỏ rất hiệu quả. Chúng tôi cũng đã tham gia một biến thể của mô hình này trong cuộc thi ILSVRC-2012 và đạt được tỷ lệ lỗi kiểm tra top-5 chiến thắng là 15,3%, so với 26,2% đạt được bởi bài dự thi đứng thứ hai.

Nhận diện hoạt động con người (HAR) thường được giải quyết bằng cách sử dụng các đặc trưng kỹ thuật được thu thập thông qua các quy trình heuristics. Nghiên cứu hiện tại cho thấy rằng các mạng nơ-ron tích chập sâu (CNN) rất phù hợp để tự động hóa quá trình trích xuất đặc trưng từ các dữ liệu cảm biến thô. Tuy nhiên, các hoạt động của con người bao gồm các chuỗi chuyển động phức tạp, và việc nắm bắt động lực tạm thời này là rất quan trọng cho việc nhận diện hoạt động thành công. Dựa trên sự thành công gần đây của các mạng nơ-ron tái kết nối cho các lĩnh vực chuỗi thời gian, chúng tôi đề xuất một khung sâu tổng quát cho nhận diện hoạt động dựa trên các đơn vị tích chập và đơn vị LSTM, mà: (i) phù hợp cho các cảm biến đeo được đa mô đun; (ii) có khả năng thực hiện bố hợp cảm biến một cách tự nhiên; (iii) không yêu cầu kiến thức chuyên môn trong việc thiết kế các đặc trưng; và (iv) mô hình hóa một cách rõ ràng động lực tạm thời của các đặc trưng kích hoạt. Chúng tôi đánh giá khung của mình trên hai tập dữ liệu, một trong số đó đã được sử dụng trong một thách thức nhận diện hoạt động công cộng. Kết quả cho thấy khung của chúng tôi vượt trội hơn các mạng nơ-ron không có hồi tiếp đang cạnh tranh trên tập dữ liệu thách thức với mức trung bình 4%; vượt hơn một số kết quả đã báo cáo trước đây lên đến 9%. Kết quả của chúng tôi cho thấy rằng khung có thể được áp dụng cho các mô hình cảm biến đồng nhất, nhưng cũng có thể bố hợp các cảm biến đa mô đun để cải thiện hiệu suất. Chúng tôi xác định ảnh hưởng của các siêu tham số kiến trúc chủ chốt đối với hiệu suất nhằm cung cấp cái nhìn về việc tối ưu hóa chúng.

Hình ảnh X-quang ngực là kỹ thuật chẩn đoán hình ảnh đầu tiên đóng vai trò quan trọng trong chẩn đoán bệnh COVID-19. Nhờ vào sự sẵn có cao của các tập dữ liệu hình ảnh được chú thích quy mô lớn, đã đạt được nhiều thành công lớn trong việc sử dụng mạng nơ-ron tích chập (CNN) cho nhận diện và phân loại hình ảnh. Tuy nhiên, do sự hạn chế về khả năng tiếp cận các hình ảnh y tế được chú thích, việc phân loại hình ảnh y tế vẫn là thách thức lớn nhất trong chẩn đoán y tế. Nhờ có học chuyển giao, một cơ chế hiệu quả có thể cung cấp giải pháp hứa hẹn bằng cách chuyển giao kiến thức từ các nhiệm vụ nhận diện đối tượng chung sang các nhiệm vụ đặc thù trong miền. Trong bài báo này, chúng tôi xác thực và giới thiệu một mạng CNN sâu, gọi là Phân tách, Chuyển giao và Tổng hợp (DeTraC), cho việc phân loại hình ảnh X-quang ngực bệnh COVID-19. DeTraC có thể xử lý bất kỳ sự bất thường nào trong tập dữ liệu hình ảnh bằng cách điều tra biên giới lớp của nó thông qua cơ chế phân tách lớp. Kết quả thực nghiệm cho thấy khả năng của DeTraC trong việc phát hiện các trường hợp COVID-19 từ một tập dữ liệu hình ảnh toàn diện được thu thập từ nhiều bệnh viện trên thế giới. Độ chính xác cao 93.1% (với độ nhạy 100%) đã được đạt được bởi DeTraC trong việc phát hiện hình ảnh X-quang COVID-19 từ các trường hợp bình thường và trường hợp hội chứng hô hấp cấp tính nặng.

Thông tin chính xác về nước mặt đô thị là rất quan trọng để đánh giá vai trò của nó trong các dịch vụ hệ sinh thái đô thị trong bối cảnh tồn tại của con người và biến đổi khí hậu. Việc chiết xuất chính xác các thủy vực đô thị từ hình ảnh là có ý nghĩa lớn đối với quy hoạch đô thị và phát triển kinh tế - xã hội. Trong bài báo này, một kiến trúc học sâu mới được đề xuất cho việc chiết xuất các thủy vực đô thị từ hình ảnh viễn thám độ phân giải cao. Đầu tiên, một thuật toán phân cụm tuyến tính lặp đơn giản thích ứng được áp dụng để phân đoạn hình ảnh viễn thám thành các siêu điểm ảnh chất lượng cao. Sau đó, một kiến trúc mạng nơ-ron tích chập (CNN) mới được thiết kế để có thể chiết xuất các đặc trưng cấp cao hữu ích của các thủy vực từ dữ liệu đầu vào trong một bối cảnh đô thị phức tạp và đánh dấu siêu điểm ảnh là một trong hai loại: điểm ảnh có nước hoặc không có nước. Cuối cùng, một hình ảnh độ phân giải cao của các siêu điểm ảnh đã được chiết xuất nước được tạo ra. Kết quả thí nghiệm cho thấy phương pháp được đề xuất đạt được độ chính xác cao hơn trong việc chiết xuất nước từ các hình ảnh viễn thám độ phân giải cao so với các phương pháp truyền thống, và độ chính xác tổng thể trung bình đạt 99,14%.